package engine

import (
	"crypto/md5"
	"fmt"
)

// 定义爬虫需要的内容

type Request struct {
	Url        string // 需要爬取的url
	Code       string // 页面编码
	ParserFunc func([]byte) ParseRequest
}

type ParseRequest struct {
	Requests []Request
	Items    []interface{}
}

// 默认parser
func NilParseRequest([]byte) ParseRequest {
	return ParseRequest{}
}

// md5加密
func md5encode(str string) string {
	data := []byte(str)
	has := md5.Sum(data)
	return fmt.Sprintf("%x", has)
}
